M5 Max 128G实战DeepSeek V4 Flash与ds4.c本地调优
本文详细记录了在Apple M5 Max 128G机器上部署并调优DeepSeek V4 Flash模型，利用redis之父antirez开发的Apple Metal专用本地推理引擎ds4.c。该项目发布三天即获5.5k Star，以其显著的性能优化备受关注。 作者在前次成功运行DeepSeek V4 Flash q2 GGUF并接入Claude Code的基础上，继续探索ds4项目的最新更新。核心技术实现包括利用Apple Metal加速DeepSeek V4 Flash的本地推理，并支持OpenAI/Anthropic API接口。 此次调优方向聚焦于ds4模型仓库中新增的“DeepSeek V4 Flash mixed 2+4 bit GGUF”模型，该模型虽为q2量化，但在推理时对最后6层采用q4量化，旨在进一步提升性能。此次实战旨在帮助中国开发者和AI创业者实现本地AI模型推理的“token自由”，充分利用M5 Max的强大性能，为AI Coding和Agent开发提供高效的本地解决方案。